Ngôn ngữ được sử dụng rộng rãi nhất trong hiện tại ở Nhật Bản là tiếng Nhật, ngôn ngữ này được chia thành các phương ngữ khác nhau (xem thêm Phương ngữ tiếng Nhật). Trong số đó, ngôn ngữ tiêu chuẩn, mà có gốc từ phương ngữ Tokyo (ngôn ngữ thông dụng của quốc gia) là một ngôn ngữ chính thức đáng kể.

Ngôn ngữ được sử dụng ở Okinawa và quần đảo Amami của tỉnh Kagoshima, do sự khác biệt lớn so với ngôn ngữ Nhật Bản lục địa (ngữ hệ Nhật Bản), giống như một "ngôn ngữ Lưu Cầu" khác biệt so với tiếng Nhật, và vị trí được đề cập đến là một vị trí được gọi là "phương ngữ Lưu Cầu" như là một trong các phương ngữ tiếng Nhật, được liệt kê như một ngữ hệ riêng biệt là ngữ hệ Lưu Cầu. Có sự phân biệt ở đây do những khác biệt rất lớn giữa ngôn ngữ này so với tiếng Nhật, sự khác biệt này mạnh mẽ hơn những sự khác biệt đơn thuần giữa các phương ngữ của Nhật Bản đại lục.

Tiếng Ainu, chủ yếu được sử dụng bởi những tộc người Ainu ở Hokkaidō, có nguồn gốc không rõ ràng, là một ngôn ngữ khác ngoài tiếng Nhật. Tuy nhiên, từ thời kỳ Minh Trị trở đi, việc sử dụng tiếng Nhật đã càng ngày càng phổ biến ngay cả trong cộng đồng người Ainu, và tiếng Ainu đã được UNESCO xếp vào loại ngôn ngữ gặp nguy hiểm ở mức độ "rất nghiêm trọng".

Ngoài ra, một số ngôn ngữ đã được sử dụng trong lãnh thổ Nhật Bản trong quá khứ ở phía nam đảo Sakhalin là các ngôn ngữ thuộc ngữ tộc Tungus như tiếng Orok và tiếng Evenki cùng một ngôn ngữ không rõ nguồn gốc là tiếng Nivkh. Sau khi Liên Xô chiếm đóng toàn bộ đảo Sakhalin, bao gồm cả phần lãnh thổ của Nhật Bản, đã có một xu hướng di dân nhỏ của các cư dân ở đây hoặc với con cháu của họ đến Nhật Bản đại lục.

Với việc giao lưu với các nền văn hoá châu Á như tiếng Trung và tiếng Triều Tiên, ngôn ngữ của các sắc tộc này tại Nhật đã có sự thay đổi, tiêu biểu như việc người Triều Tiên tại Nhật đã hình thành một ngôn ngữ di biệt khác, đó là Zainichi Korean. Về cơ bản, ngôn ngữ này là tiếng Triều Tiên được người Triều Tiên sử dụng tại Nhật, song có những khác biệt với tiếng Triều Tiên do chịu những ảnh hưởng từ văn hoá và ngôn ngữ Nhật Bản.